GateDiffInt: Gate-Mediated Controllable Diffusion and Multi-Intent LLM Distillation for User Behavior Modeling
GateDiffInt：门控可控扩散与多意图 LLM 蒸馏的用户行为建模
🧭 用户行为序列去噪与多意图蒸馏 ★ 深度解读
Fudan University · Xiaohongshu Inc.
用可控扩散去噪与 LLM 多意图蒸馏协同解决行为序列中的噪声-意图耦合，提升 CVR 排序
📌 工作参考价值（4 点）
- 行为序列去噪可借鉴 GMCD：按行为类型设置差异化 mask/噪声强度（shallow action 强噪声，deep action 弱噪声），用 gated fusion 融合去噪表示与原始表示，保留比价、加购等弱信号并抑制噪声，对电商 CVR 序列很实用。
- 用 LLM 离线蒸馏结构化 intent 到小模型：让 Gemini 等 LLM 作为 teacher，从用户序列生成 long-term/short-term/latent/conversion 四类意图文本，再用 Qwen3 小模型 + per-intent LoRA 路由蒸馏成可线上使用的向量，避免线上 LLM 高延迟；不同意图独立 LoRA 防止坍缩，可直接套到用户分层/兴趣建模。
- 两阶段训练 + 冻结 backbone 注入 LoRA 联合微调是工业部署关键：预训练去噪/意图模块冻结，仅给 encoder 和 intent extractor 加 LoRA，CVR 梯度只通过 non-gate 分支回流，兼顾任务对齐与训练效率；线上可周更新预训练模块、日更新 LoRA，适合已有精排模型轻量升级。
- 诊断 NIC/NID/IDF 的方法可复用：通过注入噪声测量 intent drift 和弱信号重建保真度，量化噪声-意图耦合，帮助评估去噪模块是否真的保留有用弱信号，而不只是看 AUC。